MEMPROBE: Probing Long-Term Agent Memory via Hidden User-State Recovery
MEMPROBE:通过隐藏用户状态恢复审计 Agent 长期记忆
🧭 Agent长期记忆的可审计评估 ★ 深度解读
University of Illinois Chicago · KU Leuven · UC San Diego
将 Agent 记忆视为可审计产物,从遗留记忆重建隐藏用户状态,直接量化记忆质量
📌 工作参考价值(4 点)
- 恢复审计评估:对电商客服、推荐对话等 Agent 系统,定期从记忆库中重构已知用户属性(如偏好、历史事实),与真实值比对,而非仅看下游任务指标,直接暴露记忆质量。
- 分离写入与检索诊断:采用“全量导出(dump_all) vs 系统 top-k 检索”的双模式对比,快速定位是记忆写入遗漏还是检索索引不足,指导优化写入策略或检索模块。
- 强化情景记忆绑定:针对用户单次关键交互(如退货纠纷原因),要求记忆系统不仅存储事件表面,还要保留事件与后果的因果链,提升后续个性化推荐的上下文深度。
- 检索感知的整合策略:在写入时即考虑后续检索场景,将原始对话转化为简洁、可检索的结构化摘要,确保关键偏好能在有限的 top-k 召回中命中,避免“存储了却拿不出”的困境。